|
01.07.2026
07:30 Uhr
|
Es gibt genug Gründe, mit selbstgehosteten LLMs unabhängiger zu werden. Mit diesen Open-Source-Werkzeugen wird aus einer Linux-Maschine mit GPU ein KI-Server.
Die Direktive der US-Regierung vom 12. Juni, die Anthropic anweist, allen Nicht-US-Amerikanern den Zugriff auf das neue KI-Modell Fable zu verwehren, war ein Erweckungsmoment. Plötzlich trat das Szenario ein, das Befürworter europäischer digitaler Unabhängigkeit beharrlich immer wieder beschrieben haben: Die Regierung eines anderen Landes dreht uns den digitalen Hahn zu. Erstmals gibt es eine Exportbeschränkung für eine weitverbreitete digitale Dienstleistung, wenn auch nur für eine Version eines Sprachmodells. Doch es dürfte vielen zu denken geben, die sich in Beruf oder Alltag vollends auf Sprachmodelle der großen Anbieter verlassen.
Da ist es ein schwacher Trost, dass Anthropic das Modell einfach für alle deaktiviert, also auch für US-Amerikaner, weil man die Direktive nur so sicher erfüllen könne. Der Fall zeigt ganz klar: Die eigene Arbeit oder die eines Teams ausschließlich von fremder KI-Infrastruktur abhängig zu machen, ist gefährlich. Wer dieses Ereignis zum Anlass nehmen will oder schon länger darüber nachdenkt, einen eigenen KI-Server für große Sprachmodelle einzurichten, muss sich einerseits mit dem Betrieb solcher Sprachmodelle vertraut machen. Andererseits sind ganz profane Admin-Aufgaben zu erledigen: Einrichtung, Updates, Security, Monitoring.
Dieser Artikel richtet sich an alle mit etwas Administrationserfahrung und zeigt, wie man – Hardware mit fetter GPU vorausgesetzt – einen LLM-Server für ein kleines Team betreibt, der auf Wunsch aus dem Internet erreichbar ist. Doch vorab eine Warnung: Die meisten, die einmal neugierig in den Kaninchenbau der lokalen KI-Modelle gefallen sind, sind nicht wieder herausgekommen. Die Beschäftigung mit lokaler KI kann süchtig machen.